<!DOCTYPE html>
<html lang="fa" class="no-js">
  <head>
    <meta charset="utf-8" />
    <meta name="viewport" content="width=device-width,initial-scale=1" />

    <meta
      name="description"
      content="کتابخانه‌ای پایتونی برای پردازش زبان فارسی"
    />

    <meta name="author" content="روشن" />

    <link
      rel="canonical"
      href="https://www.roshan-ai.ir/hazm/docs/content/hazm/normalizer.html"
    />

    <link rel="prev" href="index.html" />

    <link rel="next" href="informal_normalizer.html" />

    <link rel="icon" href="../../assets/favicon.png" />
    <meta name="generator" content="mkdocs-1.5.3, mkdocs-material-9.2.6" />

    <title>normalizer - هضم | کتابخانهٔ پردازش زبان فارسی</title>

    <link
      rel="stylesheet"
      href="../../assets/stylesheets/main.0e669242.min.css"
    />

    <link
      rel="stylesheet"
      href="../../assets/stylesheets/palette.85d0ee34.min.css"
    />

    <script src="https://unpkg.com/iframe-worker/shim"></script>

    <link rel="preconnect" href="https://fonts.gstatic.com" crossorigin />
    <link
      rel="stylesheet"
      href="https://fonts.googleapis.com/css?family=Roboto:300,300i,400,400i,700,700i%7CFira+Code:400,400i,700,700i&display=fallback"
    />
    <style>
      :root {
        --md-text-font: "Roboto";
        --md-code-font: "Fira Code";
      }
    </style>

    <link rel="stylesheet" href="../../assets/_mkdocstrings.css" />

    <link rel="stylesheet" href="../../hint.min.css" />

    <link rel="stylesheet" href="../../custom-style.css" />

    <script>
      (__md_scope = new URL("../..", location)),
        (__md_hash = (e) =>
          [...e].reduce((e, _) => (e << 5) - e + _.charCodeAt(0), 0)),
        (__md_get = (e, _ = localStorage, t = __md_scope) =>
          JSON.parse(_.getItem(t.pathname + "." + e))),
        (__md_set = (e, _, t = localStorage, a = __md_scope) => {
          try {
            t.setItem(a.pathname + "." + e, JSON.stringify(_));
          } catch (e) {}
        });
    </script>

    <script id="__analytics">
      function __md_analytics() {
        function n() {
          dataLayer.push(arguments);
        }
        (window.dataLayer = window.dataLayer || []),
          n("js", new Date()),
          n("config", "G-D32414H137"),
          document.addEventListener("DOMContentLoaded", function () {
            document.forms.search &&
              document.forms.search.query.addEventListener("blur", function () {
                this.value && n("event", "search", { search_term: this.value });
              }),
              document$.subscribe(function () {
                var a = document.forms.feedback;
                if (void 0 !== a)
                  for (var e of a.querySelectorAll("[type=submit]"))
                    e.addEventListener("click", function (e) {
                      e.preventDefault();
                      var t = document.location.pathname,
                        e = this.getAttribute("data-md-value");
                      n("event", "feedback", { page: t, data: e }),
                        (a.firstElementChild.disabled = !0);
                      e = a.querySelector(
                        ".md-feedback__note [data-md-value='" + e + "']"
                      );
                      e && (e.hidden = !1);
                    }),
                      (a.hidden = !1);
              }),
              location$.subscribe(function (e) {
                n("config", "G-D32414H137", { page_path: e.pathname });
              });
          });
        var e = document.createElement("script");
        (e.async = !0),
          (e.src = "https://www.googletagmanager.com/gtag/js?id=G-D32414H137"),
          document
            .getElementById("__analytics")
            .insertAdjacentElement("afterEnd", e);
      }
    </script>

    <script>
      var consent;
      "undefined" == typeof __md_analytics ||
        ((consent = __md_get("__consent")) &&
          consent.analytics &&
          __md_analytics());
    </script>

    <link href="../../assets/stylesheets/glightbox.min.css" rel="stylesheet" />
    <style>
      html.glightbox-open {
        overflow: initial;
        height: 100%;
      }
      .gslide-title {
        margin-top: 0px;
        user-select: text;
      }
      .gslide-desc {
        color: #666;
        user-select: text;
      }
      .gslide-image img {
        background: white;
      }

      .gscrollbar-fixer {
        padding-right: 15px;
      }
      .gdesc-inner {
        font-size: 0.75rem;
      }
      body[data-md-color-scheme="slate"] .gdesc-inner {
        background: var(--md-default-bg-color);
      }
      body[data-md-color-scheme="slate"] .gslide-title {
        color: var(--md-default-fg-color);
      }
      body[data-md-color-scheme="slate"] .gslide-desc {
        color: var(--md-default-fg-color);
      }
    </style>
    <script src="../../assets/javascripts/glightbox.min.js"></script>
  </head>

  <body
    dir="rtl"
    data-md-color-scheme="default"
    data-md-color-primary="indigo"
    data-md-color-accent="indigo"
  >
    <script>
      var palette = __md_get("__palette");
      if (palette && "object" == typeof palette.color)
        for (var key of Object.keys(palette.color))
          document.body.setAttribute(
            "data-md-color-" + key,
            palette.color[key]
          );
    </script>

    <input
      class="md-toggle"
      data-md-toggle="drawer"
      type="checkbox"
      id="__drawer"
      autocomplete="off"
    />
    <input
      class="md-toggle"
      data-md-toggle="search"
      type="checkbox"
      id="__search"
      autocomplete="off"
    />
    <label class="md-overlay" for="__drawer"></label>
    <div data-md-component="skip">
      <a href="#hazm.normalizer" class="md-skip"> پرش به محتویات </a>
    </div>
    <div data-md-component="announce"></div>

    <header
      class="md-header md-header--shadow md-header--lifted"
      data-md-component="header"
    >
      <nav class="md-header__inner md-grid" aria-label="سرتیتر">
        <a
          href="../../index.html"
          title="هضم | کتابخانهٔ پردازش زبان فارسی"
          class="md-header__button md-logo"
          aria-label="هضم | کتابخانهٔ پردازش زبان فارسی"
          data-md-component="logo"
        >
          <img src="../../assets/logo.svg" alt="logo" />
        </a>
        <label class="md-header__button md-icon" for="__drawer">
          <svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24">
            <path d="M3 6h18v2H3V6m0 5h18v2H3v-2m0 5h18v2H3v-2Z" />
          </svg>
        </label>
        <div class="md-header__title" data-md-component="header-title">
          <div class="md-header__ellipsis">
            <div class="md-header__topic">
              <span class="md-ellipsis">
                هضم | کتابخانهٔ پردازش زبان فارسی
              </span>
            </div>
            <div class="md-header__topic" data-md-component="header-topic">
              <span class="md-ellipsis"> normalizer </span>
            </div>
          </div>
        </div>

        <form class="md-header__option" data-md-component="palette">
          <input
            class="md-option"
            data-md-color-media=""
            data-md-color-scheme="default"
            data-md-color-primary="indigo"
            data-md-color-accent="indigo"
            aria-label="تغییر به حالت شب"
            type="radio"
            name="__palette"
            id="__palette_1"
          />

          <label
            class="md-header__button md-icon"
            title="تغییر به حالت شب"
            for="__palette_2"
            hidden
          >
            <svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24">
              <path
                d="M12 8a4 4 0 0 0-4 4 4 4 0 0 0 4 4 4 4 0 0 0 4-4 4 4 0 0 0-4-4m0 10a6 6 0 0 1-6-6 6 6 0 0 1 6-6 6 6 0 0 1 6 6 6 6 0 0 1-6 6m8-9.31V4h-4.69L12 .69 8.69 4H4v4.69L.69 12 4 15.31V20h4.69L12 23.31 15.31 20H20v-4.69L23.31 12 20 8.69Z"
              />
            </svg>
          </label>

          <input
            class="md-option"
            data-md-color-media=""
            data-md-color-scheme="slate"
            data-md-color-primary="indigo"
            data-md-color-accent="indigo"
            aria-label="تغییر به حالت روز"
            type="radio"
            name="__palette"
            id="__palette_2"
          />

          <label
            class="md-header__button md-icon"
            title="تغییر به حالت روز"
            for="__palette_1"
            hidden
          >
            <svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24">
              <path
                d="M12 18c-.89 0-1.74-.2-2.5-.55C11.56 16.5 13 14.42 13 12c0-2.42-1.44-4.5-3.5-5.45C10.26 6.2 11.11 6 12 6a6 6 0 0 1 6 6 6 6 0 0 1-6 6m8-9.31V4h-4.69L12 .69 8.69 4H4v4.69L.69 12 4 15.31V20h4.69L12 23.31 15.31 20H20v-4.69L23.31 12 20 8.69Z"
              />
            </svg>
          </label>
        </form>

        <label class="md-header__button md-icon" for="__search">
          <svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24">
            <path
              d="M9.5 3A6.5 6.5 0 0 1 16 9.5c0 1.61-.59 3.09-1.56 4.23l.27.27h.79l5 5-1.5 1.5-5-5v-.79l-.27-.27A6.516 6.516 0 0 1 9.5 16 6.5 6.5 0 0 1 3 9.5 6.5 6.5 0 0 1 9.5 3m0 2C7 5 5 7 5 9.5S7 14 9.5 14 14 12 14 9.5 12 5 9.5 5Z"
            />
          </svg>
        </label>
        <div class="md-search" data-md-component="search" role="dialog">
          <label class="md-search__overlay" for="__search"></label>
          <div class="md-search__inner" role="search">
            <form class="md-search__form" name="search">
              <input
                type="text"
                class="md-search__input"
                name="query"
                aria-label="جستجو"
                placeholder="جستجو"
                autocapitalize="off"
                autocorrect="off"
                autocomplete="off"
                spellcheck="false"
                data-md-component="search-query"
                required
              />
              <label class="md-search__icon md-icon" for="__search">
                <svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24">
                  <path
                    d="M9.5 3A6.5 6.5 0 0 1 16 9.5c0 1.61-.59 3.09-1.56 4.23l.27.27h.79l5 5-1.5 1.5-5-5v-.79l-.27-.27A6.516 6.516 0 0 1 9.5 16 6.5 6.5 0 0 1 3 9.5 6.5 6.5 0 0 1 9.5 3m0 2C7 5 5 7 5 9.5S7 14 9.5 14 14 12 14 9.5 12 5 9.5 5Z"
                  />
                </svg>

                <svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24">
                  <path
                    d="M20 11v2H8l5.5 5.5-1.42 1.42L4.16 12l7.92-7.92L13.5 5.5 8 11h12Z"
                  />
                </svg>
              </label>
              <nav class="md-search__options" aria-label="جستجو">
                <a
                  href="javascript:void(0)"
                  class="md-search__icon md-icon"
                  title="هم‌رسانی"
                  aria-label="هم‌رسانی"
                  data-clipboard
                  data-clipboard-text=""
                  data-md-component="search-share"
                  tabindex="-1"
                >
                  <svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24">
                    <path
                      d="M18 16.08c-.76 0-1.44.3-1.96.77L8.91 12.7c.05-.23.09-.46.09-.7 0-.24-.04-.47-.09-.7l7.05-4.11c.54.5 1.25.81 2.04.81a3 3 0 0 0 3-3 3 3 0 0 0-3-3 3 3 0 0 0-3 3c0 .24.04.47.09.7L8.04 9.81C7.5 9.31 6.79 9 6 9a3 3 0 0 0-3 3 3 3 0 0 0 3 3c.79 0 1.5-.31 2.04-.81l7.12 4.15c-.05.21-.08.43-.08.66 0 1.61 1.31 2.91 2.92 2.91 1.61 0 2.92-1.3 2.92-2.91A2.92 2.92 0 0 0 18 16.08Z"
                    />
                  </svg>
                </a>

                <button
                  type="reset"
                  class="md-search__icon md-icon"
                  title="بازنشانی"
                  aria-label="بازنشانی"
                  tabindex="-1"
                >
                  <svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24">
                    <path
                      d="M19 6.41 17.59 5 12 10.59 6.41 5 5 6.41 10.59 12 5 17.59 6.41 19 12 13.41 17.59 19 19 17.59 13.41 12 19 6.41Z"
                    />
                  </svg>
                </button>
              </nav>

              <div
                class="md-search__suggest"
                data-md-component="search-suggest"
              ></div>
            </form>
            <div class="md-search__output">
              <div class="md-search__scrollwrap" data-md-scrollfix>
                <div class="md-search-result" data-md-component="search-result">
                  <div class="md-search-result__meta">راه‌اندازی جستجو</div>
                  <ol class="md-search-result__list" role="presentation"></ol>
                </div>
              </div>
            </div>
          </div>
        </div>

        <div class="md-header__source">
          <a
            href="https://github.com/roshan-research/hazm"
            title="رفتن به مخزن"
            class="md-source"
            data-md-component="source"
          >
            <div class="md-source__icon md-icon">
              <svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 496 512">
                <!--! Font Awesome Free 6.4.2 by @fontawesome - https://fontawesome.com License - https://fontawesome.com/license/free (Icons: CC BY 4.0, Fonts: SIL OFL 1.1, Code: MIT License) Copyright 2023 Fonticons, Inc.-->
                <path
                  d="M165.9 397.4c0 2-2.3 3.6-5.2 3.6-3.3.3-5.6-1.3-5.6-3.6 0-2 2.3-3.6 5.2-3.6 3-.3 5.6 1.3 5.6 3.6zm-31.1-4.5c-.7 2 1.3 4.3 4.3 4.9 2.6 1 5.6 0 6.2-2s-1.3-4.3-4.3-5.2c-2.6-.7-5.5.3-6.2 2.3zm44.2-1.7c-2.9.7-4.9 2.6-4.6 4.9.3 2 2.9 3.3 5.9 2.6 2.9-.7 4.9-2.6 4.6-4.6-.3-1.9-3-3.2-5.9-2.9zM244.8 8C106.1 8 0 113.3 0 252c0 110.9 69.8 205.8 169.5 239.2 12.8 2.3 17.3-5.6 17.3-12.1 0-6.2-.3-40.4-.3-61.4 0 0-70 15-84.7-29.8 0 0-11.4-29.1-27.8-36.6 0 0-22.9-15.7 1.6-15.4 0 0 24.9 2 38.6 25.8 21.9 38.6 58.6 27.5 72.9 20.9 2.3-16 8.8-27.1 16-33.7-55.9-6.2-112.3-14.3-112.3-110.5 0-27.5 7.6-41.3 23.6-58.9-2.6-6.5-11.1-33.3 2.6-67.9 20.9-6.5 69 27 69 27 20-5.6 41.5-8.5 62.8-8.5s42.8 2.9 62.8 8.5c0 0 48.1-33.6 69-27 13.7 34.7 5.2 61.4 2.6 67.9 16 17.7 25.8 31.5 25.8 58.9 0 96.5-58.9 104.2-114.8 110.5 9.2 7.9 17 22.9 17 46.4 0 33.7-.3 75.4-.3 83.6 0 6.5 4.6 14.4 17.3 12.1C428.2 457.8 496 362.9 496 252 496 113.3 383.5 8 244.8 8zM97.2 352.9c-1.3 1-1 3.3.7 5.2 1.6 1.6 3.9 2.3 5.2 1 1.3-1 1-3.3-.7-5.2-1.6-1.6-3.9-2.3-5.2-1zm-10.8-8.1c-.7 1.3.3 2.9 2.3 3.9 1.6 1 3.6.7 4.3-.7.7-1.3-.3-2.9-2.3-3.9-2-.6-3.6-.3-4.3.7zm32.4 35.6c-1.6 1.3-1 4.3 1.3 6.2 2.3 2.3 5.2 2.6 6.5 1 1.3-1.3.7-4.3-1.3-6.2-2.2-2.3-5.2-2.6-6.5-1zm-11.4-14.7c-1.6 1-1.6 3.6 0 5.9 1.6 2.3 4.3 3.3 5.6 2.3 1.6-1.3 1.6-3.9 0-6.2-1.4-2.3-4-3.3-5.6-2z"
                />
              </svg>
            </div>
            <div class="md-source__repository">hazm</div>
          </a>
        </div>
      </nav>
    </header>

    <div class="md-container" data-md-component="container">
      <main class="md-main" data-md-component="main">
        <div class="md-main__inner md-grid">
          <div
            class="md-sidebar md-sidebar--primary"
            data-md-component="sidebar"
            data-md-type="navigation"
          >
            <div class="md-sidebar__scrollwrap">
              <div class="md-sidebar__inner">
                <nav
                  class="md-nav md-nav--primary"
                  aria-label="هدایت"
                  data-md-level="0"
                >
                  <label class="md-nav__title" for="__drawer">
                    <a
                      href="../../index.html"
                      title="هضم | کتابخانهٔ پردازش زبان فارسی"
                      class="md-nav__button md-logo"
                      aria-label="هضم | کتابخانهٔ پردازش زبان فارسی"
                      data-md-component="logo"
                    >
                      <img src="../../assets/logo.svg" alt="logo" />
                    </a>
                    هضم | کتابخانهٔ پردازش زبان فارسی
                  </label>

                  <div class="md-nav__source">
                    <a
                      href="https://github.com/roshan-research/hazm"
                      title="رفتن به مخزن"
                      class="md-source"
                      data-md-component="source"
                    >
                      <div class="md-source__icon md-icon">
                        <svg
                          xmlns="http://www.w3.org/2000/svg"
                          viewBox="0 0 496 512"
                        >
                          <!--! Font Awesome Free 6.4.2 by @fontawesome - https://fontawesome.com License - https://fontawesome.com/license/free (Icons: CC BY 4.0, Fonts: SIL OFL 1.1, Code: MIT License) Copyright 2023 Fonticons, Inc.-->
                          <path
                            d="M165.9 397.4c0 2-2.3 3.6-5.2 3.6-3.3.3-5.6-1.3-5.6-3.6 0-2 2.3-3.6 5.2-3.6 3-.3 5.6 1.3 5.6 3.6zm-31.1-4.5c-.7 2 1.3 4.3 4.3 4.9 2.6 1 5.6 0 6.2-2s-1.3-4.3-4.3-5.2c-2.6-.7-5.5.3-6.2 2.3zm44.2-1.7c-2.9.7-4.9 2.6-4.6 4.9.3 2 2.9 3.3 5.9 2.6 2.9-.7 4.9-2.6 4.6-4.6-.3-1.9-3-3.2-5.9-2.9zM244.8 8C106.1 8 0 113.3 0 252c0 110.9 69.8 205.8 169.5 239.2 12.8 2.3 17.3-5.6 17.3-12.1 0-6.2-.3-40.4-.3-61.4 0 0-70 15-84.7-29.8 0 0-11.4-29.1-27.8-36.6 0 0-22.9-15.7 1.6-15.4 0 0 24.9 2 38.6 25.8 21.9 38.6 58.6 27.5 72.9 20.9 2.3-16 8.8-27.1 16-33.7-55.9-6.2-112.3-14.3-112.3-110.5 0-27.5 7.6-41.3 23.6-58.9-2.6-6.5-11.1-33.3 2.6-67.9 20.9-6.5 69 27 69 27 20-5.6 41.5-8.5 62.8-8.5s42.8 2.9 62.8 8.5c0 0 48.1-33.6 69-27 13.7 34.7 5.2 61.4 2.6 67.9 16 17.7 25.8 31.5 25.8 58.9 0 96.5-58.9 104.2-114.8 110.5 9.2 7.9 17 22.9 17 46.4 0 33.7-.3 75.4-.3 83.6 0 6.5 4.6 14.4 17.3 12.1C428.2 457.8 496 362.9 496 252 496 113.3 383.5 8 244.8 8zM97.2 352.9c-1.3 1-1 3.3.7 5.2 1.6 1.6 3.9 2.3 5.2 1 1.3-1 1-3.3-.7-5.2-1.6-1.6-3.9-2.3-5.2-1zm-10.8-8.1c-.7 1.3.3 2.9 2.3 3.9 1.6 1 3.6.7 4.3-.7.7-1.3-.3-2.9-2.3-3.9-2-.6-3.6-.3-4.3.7zm32.4 35.6c-1.6 1.3-1 4.3 1.3 6.2 2.3 2.3 5.2 2.6 6.5 1 1.3-1.3.7-4.3-1.3-6.2-2.2-2.3-5.2-2.6-6.5-1zm-11.4-14.7c-1.6 1-1.6 3.6 0 5.9 1.6 2.3 4.3 3.3 5.6 2.3 1.6-1.3 1.6-3.9 0-6.2-1.4-2.3-4-3.3-5.6-2z"
                          />
                        </svg>
                      </div>
                      <div class="md-source__repository">hazm</div>
                    </a>
                  </div>

                  <ul class="md-nav__list" data-md-scrollfix>
                    <li class="md-nav__item">
                      <a href="../../index.html" class="md-nav__link">
                        <span class="md-ellipsis"> معرفی و نصب </span>
                      </a>
                    </li>

                    <li
                      class="md-nav__item md-nav__item--active md-nav__item--nested"
                    >
                      <input
                        class="md-nav__toggle md-toggle"
                        type="checkbox"
                        id="__nav_2"
                        checked
                      />

                      <div class="md-nav__link md-nav__container">
                        <a href="index.html" class="md-nav__link">
                          <span class="md-ellipsis"> کلاس‌ها و توابع </span>
                        </a>

                        <label class="md-nav__link" for="__nav_2">
                          <span class="md-nav__icon md-icon"></span>
                        </label>
                      </div>

                      <nav
                        class="md-nav"
                        data-md-level="1"
                        aria-labelledby="__nav_2_label"
                        aria-expanded="true"
                      >
                        <label class="md-nav__title" for="__nav_2">
                          <span class="md-nav__icon md-icon"></span>
                          کلاس‌ها و توابع
                        </label>
                        <ul class="md-nav__list" data-md-scrollfix>
                          <li class="md-nav__item md-nav__item--active">
                            <input
                              class="md-nav__toggle md-toggle"
                              type="checkbox"
                              id="__toc"
                            />

                            <label
                              class="md-nav__link md-nav__link--active"
                              for="__toc"
                            >
                              <span class="md-ellipsis"> normalizer </span>

                              <span class="md-nav__icon md-icon"></span>
                            </label>

                            <a
                              href="normalizer.html"
                              class="md-nav__link md-nav__link--active"
                            >
                              <span class="md-ellipsis"> normalizer </span>
                            </a>

                            <nav
                              class="md-nav md-nav--secondary"
                              aria-label="فهرست موضوعات"
                            >
                              <label class="md-nav__title" for="__toc">
                                <span class="md-nav__icon md-icon"></span>
                                فهرست موضوعات
                              </label>
                              <ul
                                class="md-nav__list"
                                data-md-component="toc"
                                data-md-scrollfix
                              >
                                <li class="md-nav__item">
                                  <a
                                    href="#hazm.normalizer"
                                    class="md-nav__link"
                                  >
                                    normalizer
                                  </a>
                                </li>

                                <li class="md-nav__item">
                                  <a
                                    href="#hazm.normalizer.Normalizer"
                                    class="md-nav__link"
                                  >
                                    Normalizer
                                  </a>

                                  <nav class="md-nav" aria-label="Normalizer">
                                    <ul class="md-nav__list">
                                      <li class="md-nav__item">
                                        <a
                                          href="#hazm.normalizer.Normalizer.normalize"
                                          class="md-nav__link"
                                        >
                                          normalize()
                                        </a>
                                      </li>

                                      <li class="md-nav__item">
                                        <a
                                          href="#hazm.normalizer.Normalizer.correct_spacing"
                                          class="md-nav__link"
                                        >
                                          correct_spacing()
                                        </a>
                                      </li>

                                      <li class="md-nav__item">
                                        <a
                                          href="#hazm.normalizer.Normalizer.remove_diacritics"
                                          class="md-nav__link"
                                        >
                                          remove_diacritics()
                                        </a>
                                      </li>

                                      <li class="md-nav__item">
                                        <a
                                          href="#hazm.normalizer.Normalizer.remove_specials_chars"
                                          class="md-nav__link"
                                        >
                                          remove_specials_chars()
                                        </a>
                                      </li>

                                      <li class="md-nav__item">
                                        <a
                                          href="#hazm.normalizer.Normalizer.decrease_repeated_chars"
                                          class="md-nav__link"
                                        >
                                          decrease_repeated_chars()
                                        </a>
                                      </li>

                                      <li class="md-nav__item">
                                        <a
                                          href="#hazm.normalizer.Normalizer.persian_style"
                                          class="md-nav__link"
                                        >
                                          persian_style()
                                        </a>
                                      </li>

                                      <li class="md-nav__item">
                                        <a
                                          href="#hazm.normalizer.Normalizer.persian_number"
                                          class="md-nav__link"
                                        >
                                          persian_number()
                                        </a>
                                      </li>

                                      <li class="md-nav__item">
                                        <a
                                          href="#hazm.normalizer.Normalizer.unicodes_replacement"
                                          class="md-nav__link"
                                        >
                                          unicodes_replacement()
                                        </a>
                                      </li>

                                      <li class="md-nav__item">
                                        <a
                                          href="#hazm.normalizer.Normalizer.seperate_mi"
                                          class="md-nav__link"
                                        >
                                          seperate_mi()
                                        </a>
                                      </li>

                                      <li class="md-nav__item">
                                        <a
                                          href="#hazm.normalizer.Normalizer.token_spacing"
                                          class="md-nav__link"
                                        >
                                          token_spacing()
                                        </a>
                                      </li>
                                    </ul>
                                  </nav>
                                </li>
                              </ul>
                            </nav>
                          </li>

                          <li class="md-nav__item">
                            <a
                              href="informal_normalizer.html"
                              class="md-nav__link"
                            >
                              <span class="md-ellipsis">
                                informal_normalizer
                              </span>
                            </a>
                          </li>

                          <li class="md-nav__item">
                            <a href="stemmer.html" class="md-nav__link">
                              <span class="md-ellipsis"> stemmer </span>
                            </a>
                          </li>

                          <li class="md-nav__item">
                            <a href="lemmatizer.html" class="md-nav__link">
                              <span class="md-ellipsis"> lemmatizer </span>
                            </a>
                          </li>

                          <li class="md-nav__item">
                            <a
                              href="sentence_tokenizer.html"
                              class="md-nav__link"
                            >
                              <span class="md-ellipsis">
                                sentence_tokenizer
                              </span>
                            </a>
                          </li>

                          <li class="md-nav__item">
                            <a href="word_tokenizer.html" class="md-nav__link">
                              <span class="md-ellipsis"> word_tokenizer </span>
                            </a>
                          </li>

                          <li class="md-nav__item">
                            <a href="embedding.html" class="md-nav__link">
                              <span class="md-ellipsis"> embedding </span>
                            </a>
                          </li>

                          <li class="md-nav__item">
                            <a href="sequence_tagger.html" class="md-nav__link">
                              <span class="md-ellipsis"> sequence_tagger </span>
                            </a>
                          </li>

                          <li class="md-nav__item">
                            <a href="token_splitter.html" class="md-nav__link">
                              <span class="md-ellipsis"> token_splitter </span>
                            </a>
                          </li>

                          <li class="md-nav__item">
                            <a href="chunker.html" class="md-nav__link">
                              <span class="md-ellipsis"> chunker </span>
                            </a>
                          </li>

                          <li class="md-nav__item">
                            <a href="pos_tagger.html" class="md-nav__link">
                              <span class="md-ellipsis"> pos_tagger </span>
                            </a>
                          </li>

                          <li class="md-nav__item">
                            <a
                              href="dependency_parser.html"
                              class="md-nav__link"
                            >
                              <span class="md-ellipsis">
                                dependency_parser
                              </span>
                            </a>
                          </li>

                          <li class="md-nav__item">
                            <a href="../utils.html" class="md-nav__link">
                              <span class="md-ellipsis"> utils </span>
                            </a>
                          </li>

                          <li
                            class="md-nav__item md-nav__item--pruned md-nav__item--nested"
                          >
                            <a
                              href="corpus_readers/index.html"
                              class="md-nav__link"
                            >
                              <span class="md-ellipsis"> پیکره‌خوان‌ها </span>

                              <span class="md-nav__icon md-icon"></span>
                            </a>
                          </li>
                        </ul>
                      </nav>
                    </li>

                    <li
                      class="md-nav__item md-nav__item--pruned md-nav__item--nested"
                    >
                      <a href="../samples/index.html" class="md-nav__link">
                        <span class="md-ellipsis"> کاربردهای هضم </span>

                        <span class="md-nav__icon md-icon"></span>
                      </a>
                    </li>

                    <li
                      class="md-nav__item md-nav__item--pruned md-nav__item--nested"
                    >
                      <a href="../in-other-languages.html" class="md-nav__link">
                        <span class="md-ellipsis"> سایر بخش‌ها </span>

                        <span class="md-nav__icon md-icon"></span>
                      </a>
                    </li>
                  </ul>
                </nav>
              </div>
            </div>
          </div>

          <div
            class="md-sidebar md-sidebar--secondary"
            data-md-component="sidebar"
            data-md-type="toc"
          >
            <div class="md-sidebar__scrollwrap">
              <div class="md-sidebar__inner">
                <nav
                  class="md-nav md-nav--secondary"
                  aria-label="فهرست موضوعات"
                >
                  <label class="md-nav__title" for="__toc">
                    <span class="md-nav__icon md-icon"></span>
                    فهرست موضوعات
                  </label>
                  <ul
                    class="md-nav__list"
                    data-md-component="toc"
                    data-md-scrollfix
                  >
                    <li class="md-nav__item">
                      <a href="#hazm.normalizer" class="md-nav__link">
                        normalizer
                      </a>
                    </li>

                    <li class="md-nav__item">
                      <a
                        href="#hazm.normalizer.Normalizer"
                        class="md-nav__link"
                      >
                        Normalizer
                      </a>

                      <nav class="md-nav" aria-label="Normalizer">
                        <ul class="md-nav__list">
                          <li class="md-nav__item">
                            <a
                              href="#hazm.normalizer.Normalizer.normalize"
                              class="md-nav__link"
                            >
                              normalize()
                            </a>
                          </li>

                          <li class="md-nav__item">
                            <a
                              href="#hazm.normalizer.Normalizer.correct_spacing"
                              class="md-nav__link"
                            >
                              correct_spacing()
                            </a>
                          </li>

                          <li class="md-nav__item">
                            <a
                              href="#hazm.normalizer.Normalizer.remove_diacritics"
                              class="md-nav__link"
                            >
                              remove_diacritics()
                            </a>
                          </li>

                          <li class="md-nav__item">
                            <a
                              href="#hazm.normalizer.Normalizer.remove_specials_chars"
                              class="md-nav__link"
                            >
                              remove_specials_chars()
                            </a>
                          </li>

                          <li class="md-nav__item">
                            <a
                              href="#hazm.normalizer.Normalizer.decrease_repeated_chars"
                              class="md-nav__link"
                            >
                              decrease_repeated_chars()
                            </a>
                          </li>

                          <li class="md-nav__item">
                            <a
                              href="#hazm.normalizer.Normalizer.persian_style"
                              class="md-nav__link"
                            >
                              persian_style()
                            </a>
                          </li>

                          <li class="md-nav__item">
                            <a
                              href="#hazm.normalizer.Normalizer.persian_number"
                              class="md-nav__link"
                            >
                              persian_number()
                            </a>
                          </li>

                          <li class="md-nav__item">
                            <a
                              href="#hazm.normalizer.Normalizer.unicodes_replacement"
                              class="md-nav__link"
                            >
                              unicodes_replacement()
                            </a>
                          </li>

                          <li class="md-nav__item">
                            <a
                              href="#hazm.normalizer.Normalizer.seperate_mi"
                              class="md-nav__link"
                            >
                              seperate_mi()
                            </a>
                          </li>

                          <li class="md-nav__item">
                            <a
                              href="#hazm.normalizer.Normalizer.token_spacing"
                              class="md-nav__link"
                            >
                              token_spacing()
                            </a>
                          </li>
                        </ul>
                      </nav>
                    </li>
                  </ul>
                </nav>
              </div>
            </div>
          </div>

          <div class="md-content" data-md-component="content">
            <article class="md-content__inner md-typeset">
              <h1>normalizer</h1>

              <details class="info">
                <summary>کاربرد عملی</summary>
                <p>
                  برای آشنایی با کاربرد این ماژول می‌توانید به بخش کاربردهای هضم
                  مراجعه کنید.
                </p>
                <p>در پروژه‌های زیر از این ماژول استفاده شده است:</p>
                <ul>
                  <li>
                    <a href="../samples/keyword_extraction.html"
                      >پروژهٔ استخراج کلمات کلیدی</a
                    >
                  </li>
                </ul>
              </details>

              <div class="doc doc-object doc-module">
                <a id="hazm.normalizer"></a>
                <div class="doc doc-contents first">
                  <p>
                    این ماژول شامل کلاس‌ها و توابعی برای نرمال‌سازی متن است.
                  </p>

                  <div class="doc doc-children">
                    <div class="doc doc-object doc-class">
                      <h2
                        id="hazm.normalizer.Normalizer"
                        class="doc doc-heading"
                      >
                        <code>Normalizer</code>

                        <a
                          href="#hazm.normalizer.Normalizer"
                          class="headerlink"
                          title="Permanent link"
                          >&para;</a
                        >
                      </h2>

                      <div class="doc doc-contents">
                        <p>این کلاس شامل توابعی برای نرمال‌سازی متن است.</p>

                        <p><strong>پارامترها:</strong></p>
                        <table>
                          <thead>
                            <tr>
                              <th>نام</th>
                              <th>نوع</th>
                              <th>توضیحات</th>
                              <th>پیش‌فرض</th>
                            </tr>
                          </thead>
                          <tbody>
                            <tr>
                              <td><code>correct_spacing</code></td>
                              <td>
                                <code>bool</code>
                              </td>
                              <td>
                                <p>
                                  اگر <code>True‍</code> فاصله‌گذاری‌ها را در
                                  متن، نشانه‌های سجاوندی و پیشوندها و پسوندها
                                  اصلاح می‌کند.
                                </p>
                              </td>
                              <td>
                                <code>True</code>
                              </td>
                            </tr>
                            <tr>
                              <td><code>remove_diacritics</code></td>
                              <td>
                                <code>bool</code>
                              </td>
                              <td>
                                <p>
                                  اگر <code>True</code> باشد اعرابِ حروف را حذف
                                  می‌کند.
                                </p>
                              </td>
                              <td>
                                <code>True</code>
                              </td>
                            </tr>
                            <tr>
                              <td><code>remove_specials_chars</code></td>
                              <td>
                                <code>bool</code>
                              </td>
                              <td>
                                <p>
                                  اگر <code>True</code> باشد برخی از کاراکترها و
                                  نشانه‌های خاص را که کاربردی در پردازش متن
                                  ندارند حذف می‌کند.
                                </p>
                              </td>
                              <td>
                                <code>True</code>
                              </td>
                            </tr>
                            <tr>
                              <td><code>decrease_repeated_chars</code></td>
                              <td>
                                <code>bool</code>
                              </td>
                              <td>
                                <p>
                                  اگر <code>True</code> باشد تکرارهای بیش از ۲
                                  بار را به ۲ بار کاهش می‌دهد. مثلاً «سلاممم» را
                                  به «سلامم» تبدیل می‌کند.
                                </p>
                              </td>
                              <td>
                                <code>True</code>
                              </td>
                            </tr>
                            <tr>
                              <td><code>persian_style</code></td>
                              <td>
                                <code>bool</code>
                              </td>
                              <td>
                                <p>
                                  اگر <code>True</code> باشد اصلاحات مخصوص زبان
                                  فارسی را انجام می‌دهد؛ مثلاً جایگزین‌کردن
                                  کوتیشن با گیومه.
                                </p>
                              </td>
                              <td>
                                <code>True</code>
                              </td>
                            </tr>
                            <tr>
                              <td><code>persian_numbers</code></td>
                              <td>
                                <code>bool</code>
                              </td>
                              <td>
                                <p>
                                  اگر <code>True</code> باشد ارقام انگلیسی را با
                                  فارسی جایگزین می‌کند.
                                </p>
                              </td>
                              <td>
                                <code>True</code>
                              </td>
                            </tr>
                            <tr>
                              <td><code>unicodes_replacement</code></td>
                              <td>
                                <code>bool</code>
                              </td>
                              <td>
                                <p>
                                  اگر <code>True</code> باشد برخی از کاراکترهای
                                  یونیکد را با معادل نرمال‌شدهٔ آن جایگزین
                                  می‌کند.
                                </p>
                              </td>
                              <td>
                                <code>True</code>
                              </td>
                            </tr>
                            <tr>
                              <td><code>seperate_mi</code></td>
                              <td>
                                <code>bool</code>
                              </td>
                              <td>
                                <p>
                                  اگر <code>True</code> باشد پیشوند «می» و «نمی»
                                  را در افعال جدا می‌کند.
                                </p>
                              </td>
                              <td>
                                <code>True</code>
                              </td>
                            </tr>
                          </tbody>
                        </table>

                        <div class="doc doc-children">
                          <div class="doc doc-object doc-function">
                            <h3
                              id="hazm.normalizer.Normalizer.normalize"
                              class="doc doc-heading"
                            >
                              <code class="highlight language-python"
                                ><span class="n">normalize</span
                                ><span class="p">(</span
                                ><span class="n">text</span
                                ><span class="p">)</span></code
                              >

                              <a
                                href="#hazm.normalizer.Normalizer.normalize"
                                class="headerlink"
                                title="Permanent link"
                                >&para;</a
                              >
                            </h3>

                            <div class="doc doc-contents">
                              <p>متن را نرمال‌سازی می‌کند.</p>

                              <p><strong>مثال‌ها:</strong></p>
                              <div class="highlight">
                                <pre><span></span><code><span class="gp">&gt;&gt;&gt; </span><span class="n">normalizer</span> <span class="o">=</span> <span class="n">Normalizer</span><span class="p">()</span>
<span class="gp">&gt;&gt;&gt; </span><span class="n">normalizer</span><span class="o">.</span><span class="n">normalize</span><span class="p">(</span><span class="s1">&#39;اِعلاممممم کَرد : « زمین لرزه ای به بُزرگیِ 6 دهم ریشتر ...»&#39;</span><span class="p">)</span>
<span class="go">&#39;اعلام کرد: «زمین‌لرزه‌ای به بزرگی ۶ دهم ریشتر …»&#39;</span>
<span class="gp">&gt;&gt;&gt; </span><span class="n">normalizer</span><span class="o">.</span><span class="n">normalize</span><span class="p">(</span><span class="s1">&#39;&#39;</span><span class="p">)</span>
<span class="go">&#39;&#39;</span>
</code></pre>
                              </div>

                              <p><strong>پارامترها:</strong></p>
                              <table>
                                <thead>
                                  <tr>
                                    <th>نام</th>
                                    <th>نوع</th>
                                    <th>توضیحات</th>
                                    <th>پیش‌فرض</th>
                                  </tr>
                                </thead>
                                <tbody>
                                  <tr>
                                    <td><code>text</code></td>
                                    <td>
                                      <code>str</code>
                                    </td>
                                    <td><p>متنی که باید نرمال‌سازی شود.</p></td>
                                    <td>
                                      <span class="required-parameter"
                                        >اجباری</span
                                      >
                                    </td>
                                  </tr>
                                </tbody>
                              </table>

                              <p><strong>خروجی‌ها:</strong></p>
                              <table>
                                <thead>
                                  <tr>
                                    <th>نوع</th>
                                    <th>توضیحات</th>
                                  </tr>
                                </thead>
                                <tbody>
                                  <tr>
                                    <td>
                                      <code>str</code>
                                    </td>
                                    <td><p>متنِ نرمال‌سازی‌شده.</p></td>
                                  </tr>
                                </tbody>
                              </table>
                            </div>
                          </div>

                          <div class="doc doc-object doc-function">
                            <h3
                              id="hazm.normalizer.Normalizer.correct_spacing"
                              class="doc doc-heading"
                            >
                              <code class="highlight language-python"
                                ><span class="n">correct_spacing</span
                                ><span class="p">(</span
                                ><span class="n">text</span
                                ><span class="p">)</span></code
                              >

                              <a
                                href="#hazm.normalizer.Normalizer.correct_spacing"
                                class="headerlink"
                                title="Permanent link"
                                >&para;</a
                              >
                            </h3>

                            <div class="doc doc-contents">
                              <p>
                                فاصله‌گذاری‌ها را در پیشوندها و پسوندها اصلاح
                                می‌کند.
                              </p>

                              <p><strong>مثال‌ها:</strong></p>
                              <div class="highlight">
                                <pre><span></span><code><span class="gp">&gt;&gt;&gt; </span><span class="n">normalizer</span> <span class="o">=</span> <span class="n">Normalizer</span><span class="p">()</span>
<span class="gp">&gt;&gt;&gt; </span><span class="n">normalizer</span><span class="o">.</span><span class="n">correct_spacing</span><span class="p">(</span><span class="s2">&quot;سلام   دنیا&quot;</span><span class="p">)</span>
<span class="go">&#39;سلام دنیا&#39;</span>
<span class="gp">&gt;&gt;&gt; </span><span class="n">normalizer</span><span class="o">.</span><span class="n">correct_spacing</span><span class="p">(</span><span class="s2">&quot;به طول ۹متر و عرض۶&quot;</span><span class="p">)</span>
<span class="go">&#39;به طول ۹ متر و عرض ۶&#39;</span>
<span class="gp">&gt;&gt;&gt; </span><span class="n">normalizer</span><span class="o">.</span><span class="n">correct_spacing</span><span class="p">(</span><span class="s2">&quot;کاروان‌‌سرا&quot;</span><span class="p">)</span>
<span class="go">&#39;کاروان‌سرا&#39;</span>
<span class="gp">&gt;&gt;&gt; </span><span class="n">normalizer</span><span class="o">.</span><span class="n">correct_spacing</span><span class="p">(</span><span class="s2">&quot;‌سلام‌ به ‌همه‌&quot;</span><span class="p">)</span>
<span class="go">&#39;سلام به همه&#39;</span>
<span class="gp">&gt;&gt;&gt; </span><span class="n">normalizer</span><span class="o">.</span><span class="n">correct_spacing</span><span class="p">(</span><span class="s2">&quot;سلام دنیـــا&quot;</span><span class="p">)</span>
<span class="go">&#39;سلام دنیا&#39;</span>
<span class="gp">&gt;&gt;&gt; </span><span class="n">normalizer</span><span class="o">.</span><span class="n">correct_spacing</span><span class="p">(</span><span class="s2">&quot;جمعهها که کار نمی کنم مطالعه می کنم&quot;</span><span class="p">)</span>
<span class="go">&#39;جمعه‌ها که کار نمی‌کنم مطالعه می‌کنم&#39;</span>
<span class="gp">&gt;&gt;&gt; </span><span class="n">normalizer</span><span class="o">.</span><span class="n">correct_spacing</span><span class="p">(</span><span class="s1">&#39; &quot;سلام به همه&quot;   &#39;</span><span class="p">)</span>
<span class="go">&#39;&quot;سلام به همه&quot;&#39;</span>
<span class="gp">&gt;&gt;&gt; </span><span class="n">normalizer</span><span class="o">.</span><span class="n">correct_spacing</span><span class="p">(</span><span class="s1">&#39;&#39;</span><span class="p">)</span>
<span class="go">&#39;&#39;</span>
</code></pre>
                              </div>

                              <p><strong>پارامترها:</strong></p>
                              <table>
                                <thead>
                                  <tr>
                                    <th>نام</th>
                                    <th>نوع</th>
                                    <th>توضیحات</th>
                                    <th>پیش‌فرض</th>
                                  </tr>
                                </thead>
                                <tbody>
                                  <tr>
                                    <td><code>text</code></td>
                                    <td>
                                      <code>str</code>
                                    </td>
                                    <td>
                                      <p>
                                        متنی که باید فاصله‌گذاری‌های آن اصلاح
                                        شود.
                                      </p>
                                    </td>
                                    <td>
                                      <span class="required-parameter"
                                        >اجباری</span
                                      >
                                    </td>
                                  </tr>
                                </tbody>
                              </table>

                              <p><strong>خروجی‌ها:</strong></p>
                              <table>
                                <thead>
                                  <tr>
                                    <th>نوع</th>
                                    <th>توضیحات</th>
                                  </tr>
                                </thead>
                                <tbody>
                                  <tr>
                                    <td>
                                      <code>str</code>
                                    </td>
                                    <td>
                                      <p>متنی با فاصله‌گذاری‌های اصلاح‌شده.</p>
                                    </td>
                                  </tr>
                                </tbody>
                              </table>
                            </div>
                          </div>

                          <div class="doc doc-object doc-function">
                            <h3
                              id="hazm.normalizer.Normalizer.remove_diacritics"
                              class="doc doc-heading"
                            >
                              <code class="highlight language-python"
                                ><span class="n">remove_diacritics</span
                                ><span class="p">(</span
                                ><span class="n">text</span
                                ><span class="p">)</span></code
                              >

                              <a
                                href="#hazm.normalizer.Normalizer.remove_diacritics"
                                class="headerlink"
                                title="Permanent link"
                                >&para;</a
                              >
                            </h3>

                            <div class="doc doc-contents">
                              <p>اِعراب را از متن حذف می‌کند.</p>

                              <p><strong>مثال‌ها:</strong></p>
                              <div class="highlight">
                                <pre><span></span><code><span class="gp">&gt;&gt;&gt; </span><span class="n">normalizer</span> <span class="o">=</span> <span class="n">Normalizer</span><span class="p">()</span>
<span class="gp">&gt;&gt;&gt; </span><span class="n">normalizer</span><span class="o">.</span><span class="n">remove_diacritics</span><span class="p">(</span><span class="s1">&#39;حَذفِ اِعراب&#39;</span><span class="p">)</span>
<span class="go">&#39;حذف اعراب&#39;</span>
<span class="gp">&gt;&gt;&gt; </span><span class="n">normalizer</span><span class="o">.</span><span class="n">remove_diacritics</span><span class="p">(</span><span class="s1">&#39;آمدند&#39;</span><span class="p">)</span>
<span class="go">&#39;آمدند&#39;</span>
<span class="gp">&gt;&gt;&gt; </span><span class="n">normalizer</span><span class="o">.</span><span class="n">remove_diacritics</span><span class="p">(</span><span class="s1">&#39;متن بدون اعراب&#39;</span><span class="p">)</span>
<span class="go">&#39;متن بدون اعراب&#39;</span>
<span class="gp">&gt;&gt;&gt; </span><span class="n">normalizer</span><span class="o">.</span><span class="n">remove_diacritics</span><span class="p">(</span><span class="s1">&#39;&#39;</span><span class="p">)</span>
<span class="go">&#39;&#39;</span>
</code></pre>
                              </div>

                              <p><strong>پارامترها:</strong></p>
                              <table>
                                <thead>
                                  <tr>
                                    <th>نام</th>
                                    <th>نوع</th>
                                    <th>توضیحات</th>
                                    <th>پیش‌فرض</th>
                                  </tr>
                                </thead>
                                <tbody>
                                  <tr>
                                    <td><code>text</code></td>
                                    <td>
                                      <code>str</code>
                                    </td>
                                    <td>
                                      <p>متنی که باید اعراب آن حذف شود.</p>
                                    </td>
                                    <td>
                                      <span class="required-parameter"
                                        >اجباری</span
                                      >
                                    </td>
                                  </tr>
                                </tbody>
                              </table>

                              <p><strong>خروجی‌ها:</strong></p>
                              <table>
                                <thead>
                                  <tr>
                                    <th>نوع</th>
                                    <th>توضیحات</th>
                                  </tr>
                                </thead>
                                <tbody>
                                  <tr>
                                    <td>
                                      <code>str</code>
                                    </td>
                                    <td><p>متنی بدون اعراب.</p></td>
                                  </tr>
                                </tbody>
                              </table>
                            </div>
                          </div>

                          <div class="doc doc-object doc-function">
                            <h3
                              id="hazm.normalizer.Normalizer.remove_specials_chars"
                              class="doc doc-heading"
                            >
                              <code class="highlight language-python"
                                ><span class="n">remove_specials_chars</span
                                ><span class="p">(</span
                                ><span class="n">text</span
                                ><span class="p">)</span></code
                              >

                              <a
                                href="#hazm.normalizer.Normalizer.remove_specials_chars"
                                class="headerlink"
                                title="Permanent link"
                                >&para;</a
                              >
                            </h3>

                            <div class="doc doc-contents">
                              <p>
                                برخی از کاراکترها و نشانه‌های خاص را که کاربردی
                                در پردازش متن ندارند حذف می‌کند.
                              </p>

                              <p><strong>مثال‌ها:</strong></p>
                              <div class="highlight">
                                <pre><span></span><code><span class="gp">&gt;&gt;&gt; </span><span class="n">normalizer</span> <span class="o">=</span> <span class="n">Normalizer</span><span class="p">()</span>
<span class="gp">&gt;&gt;&gt; </span><span class="n">normalizer</span><span class="o">.</span><span class="n">remove_specials_chars</span><span class="p">(</span><span class="s1">&#39;پیامبر اکرم ﷺ&#39;</span><span class="p">)</span>
<span class="go">&#39;پیامبر اکرم &#39;</span>
</code></pre>
                              </div>

                              <p><strong>پارامترها:</strong></p>
                              <table>
                                <thead>
                                  <tr>
                                    <th>نام</th>
                                    <th>نوع</th>
                                    <th>توضیحات</th>
                                    <th>پیش‌فرض</th>
                                  </tr>
                                </thead>
                                <tbody>
                                  <tr>
                                    <td><code>text</code></td>
                                    <td>
                                      <code>str</code>
                                    </td>
                                    <td>
                                      <p>
                                        متنی که باید کاراکترها و نشانه‌های
                                        اضافهٔ آن حذف شود.
                                      </p>
                                    </td>
                                    <td>
                                      <span class="required-parameter"
                                        >اجباری</span
                                      >
                                    </td>
                                  </tr>
                                </tbody>
                              </table>

                              <p><strong>خروجی‌ها:</strong></p>
                              <table>
                                <thead>
                                  <tr>
                                    <th>نوع</th>
                                    <th>توضیحات</th>
                                  </tr>
                                </thead>
                                <tbody>
                                  <tr>
                                    <td>
                                      <code>str</code>
                                    </td>
                                    <td>
                                      <p>
                                        متنی بدون کاراکترها و نشانه‌های اضافه.
                                      </p>
                                    </td>
                                  </tr>
                                </tbody>
                              </table>
                            </div>
                          </div>

                          <div class="doc doc-object doc-function">
                            <h3
                              id="hazm.normalizer.Normalizer.decrease_repeated_chars"
                              class="doc doc-heading"
                            >
                              <code class="highlight language-python"
                                ><span class="n">decrease_repeated_chars</span
                                ><span class="p">(</span
                                ><span class="n">text</span
                                ><span class="p">)</span></code
                              >

                              <a
                                href="#hazm.normalizer.Normalizer.decrease_repeated_chars"
                                class="headerlink"
                                title="Permanent link"
                                >&para;</a
                              >
                            </h3>

                            <div class="doc doc-contents">
                              <p>
                                تکرارهای زائد حروف را در کلماتی مثل سلامممممم
                                حذف می‌کند و در مواردی که نمی‌تواند تشخیص دهد
                                دست کم به دو تکرار کاهش می‌دهد.
                              </p>

                              <p><strong>مثال‌ها:</strong></p>
                              <div class="highlight">
                                <pre><span></span><code><span class="gp">&gt;&gt;&gt; </span><span class="n">normalizer</span> <span class="o">=</span> <span class="n">Normalizer</span><span class="p">()</span>
<span class="gp">&gt;&gt;&gt; </span><span class="n">normalizer</span><span class="o">.</span><span class="n">decrease_repeated_chars</span><span class="p">(</span><span class="s1">&#39;سلامممم به همه&#39;</span><span class="p">)</span>
<span class="go">&#39;سلام به همه&#39;</span>
<span class="gp">&gt;&gt;&gt; </span><span class="n">normalizer</span><span class="o">.</span><span class="n">decrease_repeated_chars</span><span class="p">(</span><span class="s1">&#39;سلامم به همه&#39;</span><span class="p">)</span>
<span class="go">&#39;سلامم به همه&#39;</span>
<span class="gp">&gt;&gt;&gt; </span><span class="n">normalizer</span><span class="o">.</span><span class="n">decrease_repeated_chars</span><span class="p">(</span><span class="s1">&#39;سلامم را برسان&#39;</span><span class="p">)</span>
<span class="go">&#39;سلامم را برسان&#39;</span>
<span class="gp">&gt;&gt;&gt; </span><span class="n">normalizer</span><span class="o">.</span><span class="n">decrease_repeated_chars</span><span class="p">(</span><span class="s1">&#39;سلاممم را برسان&#39;</span><span class="p">)</span>
<span class="go">&#39;سلام را برسان&#39;</span>
<span class="gp">&gt;&gt;&gt; </span><span class="n">normalizer</span><span class="o">.</span><span class="n">decrease_repeated_chars</span><span class="p">(</span><span class="s1">&#39;&#39;</span><span class="p">)</span>
<span class="go">&#39;&#39;</span>
</code></pre>
                              </div>

                              <p><strong>پارامترها:</strong></p>
                              <table>
                                <thead>
                                  <tr>
                                    <th>نام</th>
                                    <th>نوع</th>
                                    <th>توضیحات</th>
                                    <th>پیش‌فرض</th>
                                  </tr>
                                </thead>
                                <tbody>
                                  <tr>
                                    <td><code>text</code></td>
                                    <td>
                                      <code>str</code>
                                    </td>
                                    <td>
                                      <p>
                                        متنی که باید تکرارهای زائد آن حذف شود.
                                      </p>
                                    </td>
                                    <td>
                                      <span class="required-parameter"
                                        >اجباری</span
                                      >
                                    </td>
                                  </tr>
                                </tbody>
                              </table>

                              <p><strong>خروجی‌ها:</strong></p>
                              <table>
                                <thead>
                                  <tr>
                                    <th>نوع</th>
                                    <th>توضیحات</th>
                                  </tr>
                                </thead>
                                <tbody>
                                  <tr>
                                    <td>
                                      <code>str</code>
                                    </td>
                                    <td>
                                      <p>
                                        متنی بدون کاراکترهای زائد یا حداقل با دو
                                        تکرار.
                                      </p>
                                    </td>
                                  </tr>
                                </tbody>
                              </table>
                            </div>
                          </div>

                          <div class="doc doc-object doc-function">
                            <h3
                              id="hazm.normalizer.Normalizer.persian_style"
                              class="doc doc-heading"
                            >
                              <code class="highlight language-python"
                                ><span class="n">persian_style</span
                                ><span class="p">(</span
                                ><span class="n">text</span
                                ><span class="p">)</span></code
                              >

                              <a
                                href="#hazm.normalizer.Normalizer.persian_style"
                                class="headerlink"
                                title="Permanent link"
                                >&para;</a
                              >
                            </h3>

                            <div class="doc doc-contents">
                              <p>
                                برخی از حروف و نشانه‌ها را با حروف و نشانه‌های
                                فارسی جایگزین می‌کند.
                              </p>

                              <p><strong>مثال‌ها:</strong></p>
                              <div class="highlight">
                                <pre><span></span><code><span class="gp">&gt;&gt;&gt; </span><span class="n">normalizer</span> <span class="o">=</span> <span class="n">Normalizer</span><span class="p">()</span>
<span class="gp">&gt;&gt;&gt; </span><span class="n">normalizer</span><span class="o">.</span><span class="n">persian_style</span><span class="p">(</span><span class="s1">&#39;&quot;نرمال‌سازی&quot;&#39;</span><span class="p">)</span>
<span class="go">&#39;«نرمال‌سازی»&#39;</span>
<span class="gp">&gt;&gt;&gt; </span><span class="n">normalizer</span><span class="o">.</span><span class="n">persian_style</span><span class="p">(</span><span class="s1">&#39;و ...&#39;</span><span class="p">)</span>
<span class="go">&#39;و …&#39;</span>
<span class="gp">&gt;&gt;&gt; </span><span class="n">normalizer</span><span class="o">.</span><span class="n">persian_style</span><span class="p">(</span><span class="s1">&#39;10.450&#39;</span><span class="p">)</span>
<span class="go">&#39;10٫450&#39;</span>
<span class="gp">&gt;&gt;&gt; </span><span class="n">normalizer</span><span class="o">.</span><span class="n">persian_style</span><span class="p">(</span><span class="s1">&#39;&#39;</span><span class="p">)</span>
<span class="go">&#39;&#39;</span>
</code></pre>
                              </div>

                              <p><strong>پارامترها:</strong></p>
                              <table>
                                <thead>
                                  <tr>
                                    <th>نام</th>
                                    <th>نوع</th>
                                    <th>توضیحات</th>
                                    <th>پیش‌فرض</th>
                                  </tr>
                                </thead>
                                <tbody>
                                  <tr>
                                    <td><code>text</code></td>
                                    <td>
                                      <code>str</code>
                                    </td>
                                    <td>
                                      <p>
                                        متنی که باید حروف و نشانه‌های آن با حروف
                                        و نشانه‌های فارسی جایگزین شود.
                                      </p>
                                    </td>
                                    <td>
                                      <span class="required-parameter"
                                        >اجباری</span
                                      >
                                    </td>
                                  </tr>
                                </tbody>
                              </table>

                              <p><strong>خروجی‌ها:</strong></p>
                              <table>
                                <thead>
                                  <tr>
                                    <th>نوع</th>
                                    <th>توضیحات</th>
                                  </tr>
                                </thead>
                                <tbody>
                                  <tr>
                                    <td>
                                      <code>str</code>
                                    </td>
                                    <td>
                                      <p>
                                        متنی با حروف و نشانه‌های فارسی‌سازی شده.
                                      </p>
                                    </td>
                                  </tr>
                                </tbody>
                              </table>
                            </div>
                          </div>

                          <div class="doc doc-object doc-function">
                            <h3
                              id="hazm.normalizer.Normalizer.persian_number"
                              class="doc doc-heading"
                            >
                              <code class="highlight language-python"
                                ><span class="n">persian_number</span
                                ><span class="p">(</span
                                ><span class="n">text</span
                                ><span class="p">)</span></code
                              >

                              <a
                                href="#hazm.normalizer.Normalizer.persian_number"
                                class="headerlink"
                                title="Permanent link"
                                >&para;</a
                              >
                            </h3>

                            <div class="doc doc-contents">
                              <p>
                                اعداد لاتین و علامت % را با معادل فارسی آن
                                جایگزین می‌کند.
                              </p>

                              <p><strong>مثال‌ها:</strong></p>
                              <div class="highlight">
                                <pre><span></span><code><span class="gp">&gt;&gt;&gt; </span><span class="n">normalizer</span> <span class="o">=</span> <span class="n">Normalizer</span><span class="p">()</span>
<span class="gp">&gt;&gt;&gt; </span><span class="n">normalizer</span><span class="o">.</span><span class="n">persian_number</span><span class="p">(</span><span class="s1">&#39;5 درصد&#39;</span><span class="p">)</span>
<span class="go">&#39;۵ درصد&#39;</span>
<span class="gp">&gt;&gt;&gt; </span><span class="n">normalizer</span><span class="o">.</span><span class="n">persian_number</span><span class="p">(</span><span class="s1">&#39;۵ درصد&#39;</span><span class="p">)</span>
<span class="go">&#39;۵ درصد&#39;</span>
<span class="gp">&gt;&gt;&gt; </span><span class="n">normalizer</span><span class="o">.</span><span class="n">persian_number</span><span class="p">(</span><span class="s1">&#39;&#39;</span><span class="p">)</span>
<span class="go">&#39;&#39;</span>
</code></pre>
                              </div>

                              <p><strong>پارامترها:</strong></p>
                              <table>
                                <thead>
                                  <tr>
                                    <th>نام</th>
                                    <th>نوع</th>
                                    <th>توضیحات</th>
                                    <th>پیش‌فرض</th>
                                  </tr>
                                </thead>
                                <tbody>
                                  <tr>
                                    <td><code>text</code></td>
                                    <td>
                                      <code>str</code>
                                    </td>
                                    <td>
                                      <p>
                                        متنی که باید اعداد لاتین و علامت % آن با
                                        معادل فارسی جایگزین شود.
                                      </p>
                                    </td>
                                    <td>
                                      <span class="required-parameter"
                                        >اجباری</span
                                      >
                                    </td>
                                  </tr>
                                </tbody>
                              </table>

                              <p><strong>خروجی‌ها:</strong></p>
                              <table>
                                <thead>
                                  <tr>
                                    <th>نوع</th>
                                    <th>توضیحات</th>
                                  </tr>
                                </thead>
                                <tbody>
                                  <tr>
                                    <td>
                                      <code>str</code>
                                    </td>
                                    <td>
                                      <p>متنی با اعداد و علامت ٪ فارسی.</p>
                                    </td>
                                  </tr>
                                </tbody>
                              </table>
                            </div>
                          </div>

                          <div class="doc doc-object doc-function">
                            <h3
                              id="hazm.normalizer.Normalizer.unicodes_replacement"
                              class="doc doc-heading"
                            >
                              <code class="highlight language-python"
                                ><span class="n">unicodes_replacement</span
                                ><span class="p">(</span
                                ><span class="n">text</span
                                ><span class="p">)</span></code
                              >

                              <a
                                href="#hazm.normalizer.Normalizer.unicodes_replacement"
                                class="headerlink"
                                title="Permanent link"
                                >&para;</a
                              >
                            </h3>

                            <div class="doc doc-contents">
                              <p>
                                برخی از کاراکترهای خاص یونیکد را با معادلِ نرمال
                                آن جایگزین می‌کند. غالباً این کار فقط در مواردی
                                صورت می‌گیرد که یک کلمه در قالب یک کاراکتر
                                یونیکد تعریف شده است.
                              </p>
                              <p>
                                <strong
                                  >فهرست این کاراکترها و نسخهٔ جایگزین
                                  آن:</strong
                                >
                              </p>
                              <table>
                                <thead>
                                  <tr>
                                    <th>کاراکتر</th>
                                    <th>نسخهٔ جایگزین</th>
                                  </tr>
                                </thead>
                                <tbody>
                                  <tr>
                                    <td>﷽</td>
                                    <td>بسم الله الرحمن الرحیم</td>
                                  </tr>
                                  <tr>
                                    <td>﷼</td>
                                    <td>ریال</td>
                                  </tr>
                                  <tr>
                                    <td>ﷰ، ﷹ</td>
                                    <td>صلی</td>
                                  </tr>
                                  <tr>
                                    <td>ﷲ</td>
                                    <td>الله</td>
                                  </tr>
                                  <tr>
                                    <td>ﷳ</td>
                                    <td>اکبر</td>
                                  </tr>
                                  <tr>
                                    <td>ﷴ</td>
                                    <td>محمد</td>
                                  </tr>
                                  <tr>
                                    <td>ﷵ</td>
                                    <td>صلعم</td>
                                  </tr>
                                  <tr>
                                    <td>ﷶ</td>
                                    <td>رسول</td>
                                  </tr>
                                  <tr>
                                    <td>ﷷ</td>
                                    <td>علیه</td>
                                  </tr>
                                  <tr>
                                    <td>ﷸ</td>
                                    <td>وسلم</td>
                                  </tr>
                                  <tr>
                                    <td>ﻵ، ﻶ، ﻷ، ﻸ، ﻹ، ﻺ، ﻻ، ﻼ</td>
                                    <td>لا</td>
                                  </tr>
                                </tbody>
                              </table>

                              <p><strong>مثال‌ها:</strong></p>
                              <div class="highlight">
                                <pre><span></span><code><span class="gp">&gt;&gt;&gt; </span><span class="n">normalizer</span> <span class="o">=</span> <span class="n">Normalizer</span><span class="p">()</span>
<span class="gp">&gt;&gt;&gt; </span><span class="n">normalizer</span><span class="o">.</span><span class="n">remove_specials_chars</span><span class="p">(</span><span class="s1">&#39;پیامبر اکرم ﷺ&#39;</span><span class="p">)</span>
<span class="go">&#39;پیامبر اکرم &#39;</span>
<span class="gp">&gt;&gt;&gt; </span><span class="n">normalizer</span><span class="o">.</span><span class="n">remove_specials_chars</span><span class="p">(</span><span class="s1">&#39;&#39;</span><span class="p">)</span>
<span class="go">&#39;&#39;</span>
</code></pre>
                              </div>

                              <p><strong>پارامترها:</strong></p>
                              <table>
                                <thead>
                                  <tr>
                                    <th>نام</th>
                                    <th>نوع</th>
                                    <th>توضیحات</th>
                                    <th>پیش‌فرض</th>
                                  </tr>
                                </thead>
                                <tbody>
                                  <tr>
                                    <td><code>text</code></td>
                                    <td>
                                      <code>str</code>
                                    </td>
                                    <td>
                                      <p>
                                        متنی که باید برخی از کاراکترهای یونیکد
                                        آن (جدول بالا)، با شکل استاندارد،
                                        جایگزین شود.
                                      </p>
                                    </td>
                                    <td>
                                      <span class="required-parameter"
                                        >اجباری</span
                                      >
                                    </td>
                                  </tr>
                                </tbody>
                              </table>

                              <p><strong>خروجی‌ها:</strong></p>
                              <table>
                                <thead>
                                  <tr>
                                    <th>نوع</th>
                                    <th>توضیحات</th>
                                  </tr>
                                </thead>
                                <tbody>
                                  <tr>
                                    <td>
                                      <code>str</code>
                                    </td>
                                    <td>
                                      <p>
                                        متنی که برخی از کاراکترهای یونیکد آن با
                                        شکل استاندارد جایگزین شده است.
                                      </p>
                                    </td>
                                  </tr>
                                </tbody>
                              </table>
                            </div>
                          </div>

                          <div class="doc doc-object doc-function">
                            <h3
                              id="hazm.normalizer.Normalizer.seperate_mi"
                              class="doc doc-heading"
                            >
                              <code class="highlight language-python"
                                ><span class="n">seperate_mi</span
                                ><span class="p">(</span
                                ><span class="n">text</span
                                ><span class="p">)</span></code
                              >

                              <a
                                href="#hazm.normalizer.Normalizer.seperate_mi"
                                class="headerlink"
                                title="Permanent link"
                                >&para;</a
                              >
                            </h3>

                            <div class="doc doc-contents">
                              <p>
                                پیشوند «می» و «نمی» را در افعال جدا کرده و با
                                نیم‌فاصله می‌چسباند.
                              </p>

                              <p><strong>مثال‌ها:</strong></p>
                              <div class="highlight">
                                <pre><span></span><code><span class="gp">&gt;&gt;&gt; </span><span class="n">normalizer</span> <span class="o">=</span> <span class="n">Normalizer</span><span class="p">()</span>
<span class="gp">&gt;&gt;&gt; </span><span class="n">normalizer</span><span class="o">.</span><span class="n">seperate_mi</span><span class="p">(</span><span class="s1">&#39;نمیدانم چه میگفت&#39;</span><span class="p">)</span>
<span class="go">&#39;نمی‌دانم چه می‌گفت&#39;</span>
<span class="gp">&gt;&gt;&gt; </span><span class="n">normalizer</span><span class="o">.</span><span class="n">seperate_mi</span><span class="p">(</span><span class="s1">&#39;میز&#39;</span><span class="p">)</span>
<span class="go">&#39;میز&#39;</span>
<span class="gp">&gt;&gt;&gt; </span><span class="n">normalizer</span><span class="o">.</span><span class="n">seperate_mi</span><span class="p">(</span><span class="s1">&#39;&#39;</span><span class="p">)</span>
<span class="go">&#39;&#39;</span>
</code></pre>
                              </div>

                              <p><strong>پارامترها:</strong></p>
                              <table>
                                <thead>
                                  <tr>
                                    <th>نام</th>
                                    <th>نوع</th>
                                    <th>توضیحات</th>
                                    <th>پیش‌فرض</th>
                                  </tr>
                                </thead>
                                <tbody>
                                  <tr>
                                    <td><code>text</code></td>
                                    <td>
                                      <code>str</code>
                                    </td>
                                    <td>
                                      <p>
                                        متنی که باید پیشوند «می» و «نمی» در آن
                                        جدا شود.
                                      </p>
                                    </td>
                                    <td>
                                      <span class="required-parameter"
                                        >اجباری</span
                                      >
                                    </td>
                                  </tr>
                                </tbody>
                              </table>

                              <p><strong>خروجی‌ها:</strong></p>
                              <table>
                                <thead>
                                  <tr>
                                    <th>نوع</th>
                                    <th>توضیحات</th>
                                  </tr>
                                </thead>
                                <tbody>
                                  <tr>
                                    <td>
                                      <code>str</code>
                                    </td>
                                    <td>
                                      <p>متنی با «می» و «نمی» جدا شده.</p>
                                    </td>
                                  </tr>
                                </tbody>
                              </table>
                            </div>
                          </div>

                          <div class="doc doc-object doc-function">
                            <h3
                              id="hazm.normalizer.Normalizer.token_spacing"
                              class="doc doc-heading"
                            >
                              <code class="highlight language-python"
                                ><span class="n">token_spacing</span
                                ><span class="p">(</span
                                ><span class="n">tokens</span
                                ><span class="p">)</span></code
                              >

                              <a
                                href="#hazm.normalizer.Normalizer.token_spacing"
                                class="headerlink"
                                title="Permanent link"
                                >&para;</a
                              >
                            </h3>

                            <div class="doc doc-contents">
                              <p>
                                توکن‌های ورودی را به فهرستی از توکن‌های
                                نرمال‌سازی شده تبدیل می‌کند. در این فرایند ممکن
                                است برخی از توکن‌ها به یکدیگر بچسبند؛ برای مثال:
                                <code>['زمین', 'لرزه', 'ای']</code> تبدیل می‌شود
                                به: <code>['زمین‌لرزه‌ای']</code>.
                              </p>

                              <p><strong>مثال‌ها:</strong></p>
                              <div class="highlight">
                                <pre><span></span><code><span class="gp">&gt;&gt;&gt; </span><span class="n">normalizer</span> <span class="o">=</span> <span class="n">Normalizer</span><span class="p">()</span>
<span class="gp">&gt;&gt;&gt; </span><span class="n">normalizer</span><span class="o">.</span><span class="n">token_spacing</span><span class="p">([</span><span class="s1">&#39;کتاب&#39;</span><span class="p">,</span> <span class="s1">&#39;ها&#39;</span><span class="p">])</span>
<span class="go">[&#39;کتاب‌ها&#39;]</span>
<span class="gp">&gt;&gt;&gt; </span><span class="n">normalizer</span><span class="o">.</span><span class="n">token_spacing</span><span class="p">([</span><span class="s1">&#39;او&#39;</span><span class="p">,</span> <span class="s1">&#39;می&#39;</span><span class="p">,</span> <span class="s1">&#39;رود&#39;</span><span class="p">])</span>
<span class="go">[&#39;او&#39;, &#39;می‌رود&#39;]</span>
<span class="gp">&gt;&gt;&gt; </span><span class="n">normalizer</span><span class="o">.</span><span class="n">token_spacing</span><span class="p">([</span><span class="s1">&#39;ماه&#39;</span><span class="p">,</span> <span class="s1">&#39;می&#39;</span><span class="p">,</span> <span class="s1">&#39;سال&#39;</span><span class="p">,</span> <span class="s1">&#39;جدید&#39;</span><span class="p">])</span>
<span class="go">[&#39;ماه&#39;, &#39;می&#39;, &#39;سال&#39;, &#39;جدید&#39;]</span>
<span class="gp">&gt;&gt;&gt; </span><span class="n">normalizer</span><span class="o">.</span><span class="n">token_spacing</span><span class="p">([</span><span class="s1">&#39;اخلال&#39;</span><span class="p">,</span> <span class="s1">&#39;گر&#39;</span><span class="p">])</span>
<span class="go">[&#39;اخلال‌گر&#39;]</span>
<span class="gp">&gt;&gt;&gt; </span><span class="n">normalizer</span><span class="o">.</span><span class="n">token_spacing</span><span class="p">([</span><span class="s1">&#39;زمین&#39;</span><span class="p">,</span> <span class="s1">&#39;لرزه&#39;</span><span class="p">,</span> <span class="s1">&#39;ای&#39;</span><span class="p">])</span>
<span class="go">[&#39;زمین‌لرزه‌ای&#39;]</span>
<span class="gp">&gt;&gt;&gt; </span><span class="n">normalizer</span><span class="o">.</span><span class="n">token_spacing</span><span class="p">([])</span>
<span class="go">[]</span>
</code></pre>
                              </div>

                              <p><strong>پارامترها:</strong></p>
                              <table>
                                <thead>
                                  <tr>
                                    <th>نام</th>
                                    <th>نوع</th>
                                    <th>توضیحات</th>
                                    <th>پیش‌فرض</th>
                                  </tr>
                                </thead>
                                <tbody>
                                  <tr>
                                    <td><code>tokens</code></td>
                                    <td>
                                      <code
                                        ><span title="typing.List">List</span
                                        >[str]</code
                                      >
                                    </td>
                                    <td>
                                      <p>توکن‌هایی که باید نرمال‌سازی شود.</p>
                                    </td>
                                    <td>
                                      <span class="required-parameter"
                                        >اجباری</span
                                      >
                                    </td>
                                  </tr>
                                </tbody>
                              </table>

                              <p><strong>خروجی‌ها:</strong></p>
                              <table>
                                <thead>
                                  <tr>
                                    <th>نوع</th>
                                    <th>توضیحات</th>
                                  </tr>
                                </thead>
                                <tbody>
                                  <tr>
                                    <td>
                                      <code
                                        ><span title="typing.List">List</span
                                        >[str]</code
                                      >
                                    </td>
                                    <td>
                                      <p>
                                        لیستی از توکن‌های نرمال‌سازی شده به شکل
                                        <code>[token1, token2, ...]</code>.
                                      </p>
                                    </td>
                                  </tr>
                                </tbody>
                              </table>
                            </div>
                          </div>
                        </div>
                      </div>
                    </div>
                  </div>
                </div>
              </div>
            </article>
          </div>
        </div>

        <button
          type="button"
          class="md-top md-icon"
          data-md-component="top"
          hidden
        >
          <svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24">
            <path
              d="M13 20h-2V8l-5.5 5.5-1.42-1.42L12 4.16l7.92 7.92-1.42 1.42L13 8v12Z"
            />
          </svg>
          برگشت به بالا
        </button>
      </main>

      <footer class="md-footer">
        <div class="md-footer-meta md-typeset">
          <div class="md-footer-meta__inner md-grid">
            <div class="md-copyright">
              <div class="md-copyright__highlight">
                © کلیهٔ حقوق این سایت محفوظ و متعلق به شرکت روشن است.
                &nbsp;|&nbsp;
                <a href="#__consent">تغییر تنظیمات کوکی</a>
              </div>

              Made with
              <a
                href="https://squidfunk.github.io/mkdocs-material/"
                target="_blank"
                rel="noopener"
              >
                Material for MkDocs
              </a>
            </div>

            <div class="md-social">
              <a
                href="https://github.com/roshan-research"
                target="_blank"
                rel="noopener"
                title="github.com"
                class="md-social__link"
              >
                <svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 496 512">
                  <!--! Font Awesome Free 6.4.2 by @fontawesome - https://fontawesome.com License - https://fontawesome.com/license/free (Icons: CC BY 4.0, Fonts: SIL OFL 1.1, Code: MIT License) Copyright 2023 Fonticons, Inc.-->
                  <path
                    d="M165.9 397.4c0 2-2.3 3.6-5.2 3.6-3.3.3-5.6-1.3-5.6-3.6 0-2 2.3-3.6 5.2-3.6 3-.3 5.6 1.3 5.6 3.6zm-31.1-4.5c-.7 2 1.3 4.3 4.3 4.9 2.6 1 5.6 0 6.2-2s-1.3-4.3-4.3-5.2c-2.6-.7-5.5.3-6.2 2.3zm44.2-1.7c-2.9.7-4.9 2.6-4.6 4.9.3 2 2.9 3.3 5.9 2.6 2.9-.7 4.9-2.6 4.6-4.6-.3-1.9-3-3.2-5.9-2.9zM244.8 8C106.1 8 0 113.3 0 252c0 110.9 69.8 205.8 169.5 239.2 12.8 2.3 17.3-5.6 17.3-12.1 0-6.2-.3-40.4-.3-61.4 0 0-70 15-84.7-29.8 0 0-11.4-29.1-27.8-36.6 0 0-22.9-15.7 1.6-15.4 0 0 24.9 2 38.6 25.8 21.9 38.6 58.6 27.5 72.9 20.9 2.3-16 8.8-27.1 16-33.7-55.9-6.2-112.3-14.3-112.3-110.5 0-27.5 7.6-41.3 23.6-58.9-2.6-6.5-11.1-33.3 2.6-67.9 20.9-6.5 69 27 69 27 20-5.6 41.5-8.5 62.8-8.5s42.8 2.9 62.8 8.5c0 0 48.1-33.6 69-27 13.7 34.7 5.2 61.4 2.6 67.9 16 17.7 25.8 31.5 25.8 58.9 0 96.5-58.9 104.2-114.8 110.5 9.2 7.9 17 22.9 17 46.4 0 33.7-.3 75.4-.3 83.6 0 6.5 4.6 14.4 17.3 12.1C428.2 457.8 496 362.9 496 252 496 113.3 383.5 8 244.8 8zM97.2 352.9c-1.3 1-1 3.3.7 5.2 1.6 1.6 3.9 2.3 5.2 1 1.3-1 1-3.3-.7-5.2-1.6-1.6-3.9-2.3-5.2-1zm-10.8-8.1c-.7 1.3.3 2.9 2.3 3.9 1.6 1 3.6.7 4.3-.7.7-1.3-.3-2.9-2.3-3.9-2-.6-3.6-.3-4.3.7zm32.4 35.6c-1.6 1.3-1 4.3 1.3 6.2 2.3 2.3 5.2 2.6 6.5 1 1.3-1.3.7-4.3-1.3-6.2-2.2-2.3-5.2-2.6-6.5-1zm-11.4-14.7c-1.6 1-1.6 3.6 0 5.9 1.6 2.3 4.3 3.3 5.6 2.3 1.6-1.3 1.6-3.9 0-6.2-1.4-2.3-4-3.3-5.6-2z"
                  />
                </svg>
              </a>
            </div>
          </div>
        </div>
      </footer>
    </div>
    <div class="md-dialog" data-md-component="dialog">
      <div class="md-dialog__inner md-typeset"></div>
    </div>

    <div class="md-consent" data-md-component="consent" id="__consent" hidden>
      <div class="md-consent__overlay"></div>
      <aside class="md-consent__inner">
        <form class="md-consent__form md-grid md-typeset" name="consent">
          <h4>درخواست استفاده از کوکی</h4>
          <p>
            با پذیرش کوکی به ما اجازه می‌دهید تا با بررسی تعامل شما با سایت و
            شناسایی بازدیدهای بعدی‌‌تان، کیفیت مستندات را بهبود ببخشیم. <br />
            سپاس از همکاری شما. ❤️
          </p>
          <input class="md-toggle" type="checkbox" id="__settings" />
          <div class="md-consent__settings">
            <ul class="task-list">
              <li class="task-list-item">
                <label class="task-list-control">
                  <input type="checkbox" name="analytics" checked />
                  <span class="task-list-indicator"></span>
                  Google Analytics
                </label>
              </li>

              <li class="task-list-item">
                <label class="task-list-control">
                  <input type="checkbox" name="github" checked />
                  <span class="task-list-indicator"></span>
                  GitHub
                </label>
              </li>
            </ul>
          </div>
          <div class="md-consent__controls">
            <button class="md-button md-button--primary">تایید</button>

            <label class="md-button" for="__settings">مدیریت تنظیمات</label>
          </div>
        </form>
      </aside>
    </div>
    <script>
      var consent = __md_get("__consent");
      if (consent)
        for (var input of document.forms.consent.elements)
          input.name && (input.checked = consent[input.name] || !1);
      else
        "file:" !== location.protocol &&
          setTimeout(function () {
            document.querySelector("[data-md-component=consent]").hidden = !1;
          }, 250);
      var action,
        form = document.forms.consent;
      for (action of ["submit", "reset"])
        form.addEventListener(action, function (e) {
          if ((e.preventDefault(), "reset" === e.type))
            for (var n of document.forms.consent.elements)
              n.name && (n.checked = !1);
          __md_set(
            "__consent",
            Object.fromEntries(
              Array.from(new FormData(form).keys()).map(function (e) {
                return [e, !0];
              })
            )
          ),
            (location.hash = ""),
            location.reload();
        });
    </script>

    <script id="__config" type="application/json">
      {
        "base": "../..",
        "features": [
          "navigation.instant",
          "navigation.tracking",
          "navigation.tabs.sticky",
          "navigation.indexes",
          "navigation.prune",
          "navigation.top",
          "search.suggest",
          "search.highlight",
          "search.share",
          "content.tooltips",
          "content.code.annotate",
          "content.code.copy",
          "content.code.select"
        ],
        "search": "../../assets/javascripts/workers/search.dfff1995.min.js",
        "translations": {
          "clipboard.copied": "\u06a9\u067e\u06cc \u0634\u062f",
          "clipboard.copy": "\u06a9\u067e\u06cc \u06a9\u0631\u062f\u0646",
          "search.result.more.one": "1 \u0645\u0648\u0631\u062f \u062f\u06cc\u06af\u0631 \u062f\u0631 \u0627\u06cc\u0646 \u0635\u0641\u062d\u0647",
          "search.result.more.other": "# \u0645\u0648\u0631\u062f \u062f\u06cc\u06af\u0631 \u062f\u0631 \u0627\u06cc\u0646 \u0635\u0641\u062d\u0647",
          "search.result.none": "\u0633\u0646\u062f\u06cc \u06cc\u0627\u0641\u062a \u0646\u0634\u062f",
          "search.result.one": "1 \u0633\u0646\u062f \u06cc\u0627\u0641\u062a \u0634\u062f",
          "search.result.other": "# \u0633\u0646\u062f \u06cc\u0627\u0641\u062a \u0634\u062f",
          "search.result.placeholder": "\u0628\u0631\u0627\u06cc \u0634\u0631\u0648\u0639 \u062c\u0633\u062a\u062c\u0648 \u062a\u0627\u06cc\u067e \u06a9\u0646\u06cc\u062f",
          "search.result.term.missing": "\u0645\u0648\u062c\u0648\u062f \u0646\u06cc\u0633\u062a",
          "select.version": "\u0627\u0646\u062a\u062e\u0627\u0628 \u0648\u06cc\u0631\u0627\u06cc\u0634"
        }
      }
    </script>

    <script src="../../assets/javascripts/bundle.78eede0e.min.js"></script>

    <script src="https://unpkg.com/mermaid@9.1.5/dist/mermaid.min.js"></script>

    <script>
      document$.subscribe(() => {
        const lightbox = GLightbox({
          touchNavigation: true,
          loop: false,
          zoomable: true,
          draggable: true,
          openEffect: "zoom",
          closeEffect: "zoom",
          slideEffect: "slide",
        });
      });
    </script>
  </body>
</html>
